Năm 1538, dưới triều nhà Mạc (Mạc Đăng Doanh) Giáp Hải 23 tuổi, ông đỗ thứ nhất Tiến sĩ nhất giáp khoa Mậu Tuất, sau đổi tên là Trừng. Theo Phan Huy Chú nhận xét, do nhờ văn chương thi đỗ mà làm quan, bây giờ ai cũng tôn trọng. Bấy giờ ông thường ra ải Nam Quan bàn việc, ứng đáp tinh nhanh, người Minh gọi là Giáp Tuyên Phủ mà không gọi tên.[2]

Năm 1562, đời Mạc Mậu Hợp, ông làm Thượng thư bộ lại, kiêm Đô ngự sử, tước Luân quận công. Nhân thấy sao Chổi mọc luôn, Giáp Hải dâng sớ cho nhà vua, khuyên răn vua nhưng vua không nghe theo.[3]

Năm sau Giáp Hải được lệnh giữ việc 6 bộ, kiêm chức Đại học sĩ Đông các, coi việc tòa Kinh diên, gia phong tước Sách quận công.[4]

Năm 1566, nhà Mạc sai Giáp Hải lúc ấy đang giữ chức Lại bộ thượng thư kiêm Đông các đại học sĩ- Kế Khê bá và Đông các hiệu thư Phạm Duy Quyết lên đầu địa giới Lạng Sơn đón tiếp sứ thần Lê Quang Bí về nước. Quang Bí phụng mệnh đi sứ năm Gia Tĩnh thứ 27, bị nhà Minh giữ lại 18 năm, đến nay trở về.[5]

Bấy giờ chính sách nhà Mạc ngày một kém, điềm tai biến luôn xuất hiện. Giáp Hải ngại mình quá được đầy đủ, mấy lần xin từ chức nhưng không được. Gặp bão lớn, ông lại dâng sớ khuyên răn vua, Mậu Hợp yên ủi, vời ông vào Kinh làm việc tại tiều, thăng Thái bảo dự việc triều chính. Giáp Hải mấy lần xin về hưu, Mậu Hợp quyến luyến không nghe. Lại mấy lần Giáp Hải dâng sớ, lời lẽ khẩn thiết, bất đắc dĩ Mậu Hợp phải cho, năm ấy ông 71 tuổi.

Mạc Mậu Hợp ban cho ông lá cờ thêu và câu đối:Trạng đầu, tể tướng đẩu nam tuấn,

Quốc lão, đế sư thiên hạ tôn

Nghĩa là: đỗ trạng nguyên, làm tể tướng, danh cao như ngôi sao Đẩu của trời Nam; đã quốc lão, lại thầy của vua, được cả nước tôn trọng.[6]